基于强大的预训练语言模型（PLM）的密集检索方法（DR）方法取得了重大进步，并已成为现代开放域问答系统的关键组成部分。但是，他们需要大量的手动注释才能进行竞争性，这是不可行的。为了解决这个问题，越来越多的研究作品最近着重于在低资源场景下改善DR绩效。这些作品在培训所需的资源和采用各种技术的资源方面有所不同。了解这种差异对于在特定的低资源场景下选择正确的技术至关重要。为了促进这种理解，我们提供了针对低资源DR的主流技术的彻底结构化概述。根据他们所需的资源，我们将技术分为三个主要类别：（1）仅需要文档； （2）需要文件和问题； （3）需要文档和提问对。对于每种技术，我们都会介绍其一般形式算法，突出显示开放的问题和利弊。概述了有希望的方向以供将来的研究。
translated by 谷歌翻译
Student success models might be prone to develop weak spots, i.e., examples hard to accurately classify due to insufficient representation during model creation. This weakness is one of the main factors undermining users' trust, since model predictions could for instance lead an instructor to not intervene on a student in need. In this paper, we unveil the need of detecting and characterizing unknown unknowns in student success prediction in order to better understand when models may fail. Unknown unknowns include the students for which the model is highly confident in its predictions, but is actually wrong. Therefore, we cannot solely rely on the model's confidence when evaluating the predictions quality. We first introduce a framework for the identification and characterization of unknown unknowns. We then assess its informativeness on log data collected from flipped courses and online courses using quantitative analyses and interviews with instructors. Our results show that unknown unknowns are a critical issue in this domain and that our framework can be applied to support their detection. The source code is available at https://github.com/epfl-ml4ed/unknown-unknowns.
translated by 谷歌翻译
A generalized understanding of protein dynamics is an unsolved scientific problem, the solution of which is critical to the interpretation of the structure-function relationships that govern essential biological processes. Here, we approach this problem by constructing coarse-grained molecular potentials based on artificial neural networks and grounded in statistical mechanics. For training, we build a unique dataset of unbiased all-atom molecular dynamics simulations of approximately 9 ms for twelve different proteins with multiple secondary structure arrangements. The coarse-grained models are capable of accelerating the dynamics by more than three orders of magnitude while preserving the thermodynamics of the systems. Coarse-grained simulations identify relevant structural states in the ensemble with comparable energetics to the all-atom systems. Furthermore, we show that a single coarse-grained potential can integrate all twelve proteins and can capture experimental structural features of mutated proteins. These results indicate that machine learning coarse-grained potentials could provide a feasible approach to simulate and understand protein dynamics.
translated by 谷歌翻译
Machine Learning models capable of handling the large datasets collected in the financial world can often become black boxes expensive to run. The quantum computing paradigm suggests new optimization techniques, that combined with classical algorithms, may deliver competitive, faster and more interpretable models. In this work we propose a quantum-enhanced machine learning solution for the prediction of credit rating downgrades, also known as fallen-angels forecasting in the financial risk management field. We implement this solution on a neutral atom Quantum Processing Unit with up to 60 qubits on a real-life dataset. We report competitive performances against the state-of-the-art Random Forest benchmark whilst our model achieves better interpretability and comparable training times. We examine how to improve performance in the near-term validating our ideas with Tensor Networks-based numerical simulations.
translated by 谷歌翻译
尽管深度神经网络（DNNS）具有很大的概括和预测能力，但它们的功能不允许对其行为进行详细的解释。不透明的深度学习模型越来越多地用于在关键环境中做出重要的预测，而危险在于，它们做出和使用不能合理或合法化的预测。已经出现了几种可解释的人工智能（XAI）方法，这些方法与机器学习模型分开了，但对模型的实际功能和鲁棒性具有忠诚的缺点。结果，就具有解释能力的深度学习模型的重要性达成了广泛的协议，因此他们自己可以为为什么做出特定的预测提供答案。首先，我们通过形式化解释是什么是缺乏XAI的普遍标准的问题。我们还引入了一组公理和定义，以从数学角度阐明XAI。最后，我们提出了Greybox XAI，该框架由于使用了符号知识库（KB）而构成DNN和透明模型。我们从数据集中提取KB，并使用它来训练透明模型（即逻辑回归）。在RGB图像上训练了编码器 - 编码器架构，以产生类似于透明模型使用的KB的输出。一旦两个模型被独立训练，它们就会在组合上使用以形成可解释的预测模型。我们展示了这种新体系结构在几个数据集中如何准确且可解释的。
translated by 谷歌翻译
机器学习潜力是分子模拟的重要工具，但是由于缺乏高质量数据集来训练它们的发展，它们的开发阻碍了它们。我们描述了Spice数据集，这是一种新的量子化学数据集，用于训练与模拟与蛋白质相互作用的药物样的小分子相关的潜在。它包含超过110万个小分子，二聚体，二肽和溶剂化氨基酸的构象。它包括15个元素，带电和未充电的分子以及广泛的共价和非共价相互作用。它提供了在{\ omega} b97m-d3（bj）/def2-tzVPPD理论水平以及其他有用的数量（例如多极矩和键阶）上计算出的力和能量。我们在其上训练一组机器学习潜力，并证明它们可以在化学空间的广泛区域中实现化学精度。它可以作为创建可转移的，准备使用潜在功能用于分子模拟的宝贵资源。
translated by 谷歌翻译
在本文中，我们提出了一个新颖的解释性框架，旨在更好地理解面部识别模型作为基本数据特征的表现（受保护的属性：性别，种族，年龄；非保护属性：面部毛发，化妆品，配件，脸部，面部，面部，面部，面部，面部，它们被测试的变化的方向和阻塞，图像失真，情绪）。通过我们的框架，我们评估了十种最先进的面部识别模型，并在两个数据集上的安全性和可用性方面进行了比较，涉及基于性别和种族的六个小组。然后，我们分析图像特征对模型性能的影响。我们的结果表明，当考虑多归因组时，单属分析中出现的趋势消失或逆转，并且性能差异也与非保护属性有关。源代码：https：//cutt.ly/2xwrlia。
translated by 谷歌翻译
在本文中，我们考虑了使用嘈杂的中间量子量子（NISQ）设备的几种用于量子计算机视觉的算法，并将它们基于对其经典对应物的真正问题进行基准测试。具体而言，我们考虑了两种方法：基于通用门的量子计算机上的量子支持向量机（QSVM），以及Qubost在量子退火器上。量子视觉系统是针对图像不平衡数据集进行基准测试的，其目的是检测制成的汽车件中的缺陷。我们看到，量子算法以几种方式优于其经典对应物，QBoost允许使用当今的量子退火器分析更大的问题。还讨论了数据预处理，包括降低维度和对比度增强，以及Qboost中的超参数调整。据我们所知，这是量子计算机视觉系统的首次实施，用于制造生产线中的工业相关性问题。
translated by 谷歌翻译
预测不确定性估计对于在现实世界自治系统中部署深层神经网络至关重要。但是，大多数成功的方法是计算密集型的。在这项工作中，我们试图在自主驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法（DUM）只能部分满足其对复杂计算机视觉任务的可扩展性，这并不明显。在这项工作中，我们为高分辨率的语义分割推动了可扩展有效的DUM，它放松了Lipschitz约束通常会阻碍此类架构的实用性。我们通过利用在任意大小的可训练原型集上的区别最大化层来学习判别潜在空间。我们的方法在深层合奏，不确定性预测，图像分类，细分和单眼深度估计任务上取得了竞争成果。我们的代码可在https://github.com/ensta-u2is/ldu上找到
translated by 谷歌翻译
迄今为止，引力波发现的所有科学主张都依赖于候选观测值的离线统计分析，以量化相对于背景过程的重要性。 Ligo实验中这种离线检测管道中的当前基础是匹配的滤波器算法，该算法产生了基于信噪比的基于信噪比的统计量，用于对候选观测进行排名。现有的基于深度学习的尝试检测引力波，这些尝试在信号灵敏度和计算效率（计算效率）中都表现出了输出概率分数。但是，概率分数不容易集成到发现工作流程中，从而将深度学习的使用限制为迄今为止的非发现的应用程序。在本文中，引入了深度学习信噪比（DEEPSNR）检测管道，该检测管道使用了一种新方法来从深度学习分类器中生成信噪比排名统计量，从而为使用提供了第一个使用的基础在面向发现的管道中的深度学习算法。通过从第一次观察运行中识别二进制黑洞合并候选者与噪声源相对于噪声源来证明DeepSNR的性能。使用Ligo检测器响应的高保真模拟用于在物理观察物方面介绍深度学习模型的第一个灵敏度估计。还研究了在各种实验方面的DeepSNR的鲁棒性。结果为DeepSNR用于在更广泛的背景下的引力波和罕见信号的科学发现铺平了道路，从而有可能检测到昏迷的信号和从未被观察到的现象。
translated by 谷歌翻译